马尔可夫链蒙特卡洛方法用于从复杂分布和估计归一化常数采样的方法，通常会模拟沿着退火路径的一系列中间分布的样品，该路径桥梁在可缝隙的初始分布和目标密度之间桥接。先前的工作已经使用准算术手段构建了退火路径，并将所得的中间密度解释为最小化对终点的预期差异。我们在单调的密度函数嵌入下使用布雷格曼的分歧对这种“质心”属性进行了全面分析，从而将诸如Amari和Renyi的$ {\ alpha} $ - divergences等共同差异相关联，$ {（\ alpha，\ beta） } $ - 分歧，以及沿着退火路径的中间密度的詹森 - 香农脱落。我们的分析强调了使用Zhang 2004的Rho-Tau Bregman Divergence框架; 2013年的Rho-Tau Bregman Divergence框架之间的参数族之间的相互作用和分歧函数。

学习和分析统计模型的一种常见方法是考虑模型参数空间中的操作。但是，如果我们在参数空间中进行优化，并且在参数空间和基础统计模型空间之间没有一对一的映射会发生什么？这些情况经常发生在包括统计混合物或随机神经网络的分层模型中，据说这些模型是单数的。奇异模型在机器学习中揭示了几个重要且研究的问题，例如由于吸引者行为而导致学习轨迹的收敛速度的降低。在这项工作中，我们提出了一种参数空间的相对重新聚集技术，该技术产生了一种从单数模型中提取常规子模型的一般方法。我们的方法在训练过程中实施了模型可识别性，并研究了在相对参数化下为高斯混合模型（GMM）的梯度下降和期望最大化的学习动力学，显示了更快的实验收敛性和围绕奇异性的动态的改善。将分析扩展到GMM之外，我们进一步分析了在相对重新聚体化及其对概括误差的影响下的Fisher信息矩阵，并显示该方法如何应用于更复杂的模型，例如深层神经网络。

在分析参数统计模型时，有用的方法包括在几何上建模参数空间。然而，即使对于统计混合物或随机深度神经网络等非常简单且常用的分层模型，歧管的平滑度呈呈现在参数空间中的非平滑邻域的奇异点。这些奇异模型已经在学习动态的背景下进行了分析，其中奇点可以充当学习轨迹上的吸引子，因此，对模型的收敛速度产生负面影响。我们提出了一种通过使用Stratifolds，来自代数拓扑的概念来规避奇点引起的问题的一般方法，以正式模拟奇异参数空间。我们使用特定的Stratifolds配备了分辨率的特定方法来构造奇异空间的平滑歧管近似。我们经验证明，使用（自然）梯度下降在平滑歧管近似而不是奇异空间允许我们避免吸引子行为，从而提高学习中的收敛速度。

Jeffreys分歧是广泛用于信息科学的面向克鲁克 - 雷布尔分歧的着名对称化。由于高斯混合模型之间的jeffreys在闭合形式之间提供，因此在文献中提出了具有优缺点的各种技术，以估计，近似或降低这种发散。在本文中，我们提出了一种简单而快速的启发式，以近似与任意数量的组件的两个单变量高斯混合物之间的Jeffreys分歧。我们的启发式依赖于将混合物转换成属于指数家庭的双重参数化概率密度。特别是，我们考虑多功能多项式指数家庭密度，并设计分歧，以闭合形成高斯混合物与其多项式指数密度近似的拟合的良好度。这种拟合的良好分歧是Hyv \“Arinen分歧的概括，用于估计具有计算棘手的癌症的模型。它允许我们通过选择用于近似混合物的多项式指数密度的订单来执行模型选择。我们展示实验地，我们的启发式近似于jeffreys发散的数量幅度提高了随机蒙特卡罗估计的计算时间，同时接近jeffreys发散，特别是当混合物具有非常少量的模式时。此外，我们的混合物 - 指数家庭转换技术可能在其他设置中证明。

结构化参数空间的自然梯度下降（NGD）（例如，低级CovariRces）是由于困难的Fisher矩阵计算而在计算上具有挑战性。我们通过使用\ emph {local-parameter坐标}来解决此问题，以获取灵活且高效的NGD方法，适用于各种结构化参数化。我们显示了四个应用程序，我们的方法（1）概括指数自然进化策略，（2）恢复现有的牛顿样算法，（3）通过矩阵组产生新的结构化二阶算法，（4）给出了新的算法高斯和基于Wishart的分布的协方差。我们展示了深度学习，变分推论和进化策略的一系列问题。我们的工作为可扩展结构化几何方法开辟了新的方向。

为什么深神经网络（DNN）受益于非常高的维度参数空间？他们的巨大参数复杂性与实践中的惊人表演是使用标准常规模型理论的更具迷恋和无法解释的。在这项工作中，我们提出了一种几何风味的信息 - 理论方法来研究这种现象。即，我们通过考虑Fisher信息矩阵的显着尺寸的数量来介绍神经网络模型的参数空间的局部变化维度，并使用奇异半riemannian几何框架将参数空间模拟作为歧管的参数空间。我们推出模型复杂度措施，其基于奇点分析产生深度神经网络模型的简短描述长度，因此尽管有大量参数，但是尽管有大量的参数，但是尽管有大量的参数来解释DNN的良好性能。

Jensen-Shannon Divergence是无界的Kullback-Leibler Divergence的著名界面对称性，可测量总的Kullback-Leibler差异与平均混合物分布。但是，高斯分布之间的詹森 - 香农差异在封闭式中不可用。为了绕过这个问题，我们使用抽象方式提出了Jensen-Shannon（JS）差异的概括，当根据分布的参数家族选择均值时，该抽象方式会产生封闭形式的表达式。更普遍地，我们使用从抽象手段得出的广义统计混合物来定义任何距离的JS隔离化。特别是，我们首先表明几何平均值非常适合指数族，并报告了（i）（i）同一指数家族概率密度之间的几何詹森 - 香农（Jensen-Shannon）的两种封闭式公式，以及（ii）几何学反向kullback-leibler发散的JS对称。作为第二个说明示例，我们表明，谐波平均值非常适合cauchy分布，并报告了缩放尺度分布之间的谐波詹森 - 香农差异的封闭式公式。我们还定义了矩阵（例如量子Jensen-Shannon Diverences）之间的广义詹森 - 香农差异，并考虑了这些新颖的詹森 - 香农分歧的聚类。

有限维概率单纯x中的聚类分类分布是处理归一化直方图的许多应用中的基本任务。传统上，概率单位的差分几何结构已经通过（i）将Riemannian公制矩阵设定为分类分布的Fisher信息矩阵，或（ii）定义由平滑异化性引起的二元信息 - 几何结构衡量标准，kullback-leibler发散。在这项工作中，我们介绍了群集任务一种新颖的计算型友好框架，用于在几何上建模概率单纯x：{\ em hilbert simplex几何}。在Hilbert Simplex几何形状中，距离是不可分离的Hilbert公制距离，其满足与多光镜边界描述的距离水平集功能的信息单调性的特性。我们表明，Aitchison和Hilbert Simplex的距离分别是关于$ \ ell_2 $和变化规范的标准化对数表示的距离。我们讨论了这些不同的统计建模的利弊，并通过基于基于中心的$ k $ -means和$ k $ -center聚类的基准这些不同的几何形状。此外，由于可以在欧几里德空间的任何有界凸形子集上定义规范希尔伯特距离，因此我们还考虑了与FR \“Obenius和Log-Det分歧相比的相关矩阵的椭圆形的几何形状并研究其聚类性能。

The future of population-based breast cancer screening is likely personalized strategies based on clinically relevant risk models. Mammography-based risk models should remain robust to domain shifts caused by different populations and mammographic devices. Modern risk models do not ensure adaptation across vendor-domains and are often conflated to unintentionally rely on both precursors of cancer and systemic/global mammographic information associated with short- and long-term risk, respectively, which might limit performance. We developed a robust, cross-vendor model for long-term risk assessment. An augmentation-based domain adaption technique, based on flavorization of mammographic views, ensured generalization to an unseen vendor-domain. We trained on samples without diagnosed/potential malignant findings to learn systemic/global breast tissue features, called mammographic texture, indicative of future breast cancer. However, training so may cause erratic convergence. By excluding noise-inducing samples and designing a case-control dataset, a robust ensemble texture model was trained. This model was validated in two independent datasets. In 66,607 Danish women with flavorized Siemens views, the AUC was 0.71 and 0.65 for prediction of interval cancers within two years (ICs) and from two years after screening (LTCs), respectively. In a combination with established risk factors, the model's AUC increased to 0.68 for LTCs. In 25,706 Dutch women with Hologic-processed views, the AUCs were not different from the AUCs in Danish women with flavorized views. The results suggested that the model robustly estimated long-term risk while adapting to an unseen processed vendor-domain. The model identified 8.1% of Danish women accounting for 20.9% of ICs and 14.2% of LTCs.

We study the problem of combining neural networks with symbolic reasoning. Recently introduced frameworks for Probabilistic Neurosymbolic Learning (PNL), such as DeepProbLog, perform exponential-time exact inference, limiting the scalability of PNL solutions. We introduce Approximate Neurosymbolic Inference (A-NeSI): a new framework for PNL that uses neural networks for scalable approximate inference. A-NeSI 1) performs approximate inference in polynomial time without changing the semantics of probabilistic logics; 2) is trained using data generated by the background knowledge; 3) can generate symbolic explanations of predictions; and 4) can guarantee the satisfaction of logical constraints at test time, which is vital in safety-critical applications. Our experiments show that A-NeSI is the first end-to-end method to scale the Multi-digit MNISTAdd benchmark to sums of 15 MNIST digits, up from 4 in competing systems. Finally, our experiments show that A-NeSI achieves explainability and safety without a penalty in performance.